데이터베이스 연구회지(SIGDB)
Current Result Document :
| 한글제목(Korean Title) |
데이터 스트림의 샘플링 및 필터링을 위한 고속 분산 처리 플랫폼 |
| 영문제목(English Title) |
High-speed Distributed Processing Platform for Sampling and Filtering Data Streams |
| 저자(Author) |
길명선
문양세
최형진
Myeong-Seon Gil
Yang-Sae Moon
Hyung-Jin Choi
|
| 원문수록처(Citation) |
VOL 37 NO. 03 PP. 0016 ~ 0028 (2021. 12) |
한글내용
(Korean Abstract) |
본 논문에서는 데이터 품질 관리의 대표 기술인 데이터 정제(purification)를 스트림 환경에 적용할 수 있는 새로운 분산 처리 플랫폼을 제안한다. 이를 위해, 먼저 기존 정제 기술의 세 가지 문제점을 분석한다. 그리고, 각 문제점의 해결 방안으로 오픈소스 프로젝트 기반의 새로운 고속 스트림 처리 플랫폼을 제시한다. 제안 플랫폼은 데이터 스트림 처리 엔진, 정제 라이브러리, 플랜 매니저, 공유 스토리지로 구성되며, Apache Storm 및 Apache Kafka를 기반으로 설계한다. 해당 요소들은 스트림 처리 속도 및 처리량이 매우 중요한 성능 지표로, 본 논문에서는 RDMA(Remote Direct Memory Access)를 활용하여 성능을 향상시킨다. 제안 플랫폼의 성능 평가에는 총 아홉 대 노드로 구성된 분산 클러스터 환경을 사용하며, 이를 기반으로 각 컴포넌트를 구현 및 평가하였다. 실험을 통해 제안 플랫폼의 스트림 처리량이 기존 이더넷 환경 대비 평균 28배 이상, 처리시간은 평균 2,473배 이상 향상되었음을 확인하였다. 결과적으로, 본 논문에서 제안한 스트림 정제 플랫폼은 초고속, 대용량으로 발생하는 스트림의 효율적인 정제를 지원하는 최초의 통합 플랫폼이라 할 수 있다.
|
영문내용
(English Abstract) |
In this paper, we propose a novel intelligent platform that applies data purification, a representative technology of data quality management, to the data stream environment. First, we analyze three problems of the existing purification technology: Unsuitability on high-speed stream environment, Lack of stream-based purification methods, and High-difficulty in utilizing purification technologies. Next, to solve those problems, we derive a new high-speed stream processing platform based on open-source projects. The proposed platform consists of Data Stream Processing Engine, Purification Library, Plan Manager, and Shared Storage, and we implement our platform based on Apache Storm and Apache Kafka. Stream processing speed and throughput of these elements are very important performance measures. Thus, we address a performance improvement method using RDMA-Storm (Remote Direct Memory Access based Storm) to increase these performance measures. Through extensive experiments, we showed that the throughput of the proposed platform improved by over 28 times and 2,473 times of processing time compared to the existing Ethernet environment. To our best knowledge, the proposed stream purification platform is the first integrated platform that supports stable purification on an ultra-high speed and big data stream environment. |
| 키워드(Keyword) |
데이터 스트림
데이터 정제
고속 스트림 처리
분산 스트림 처리
아파치 스톰
Data stream
Data purification
High-speed stream processing
Distributed stream processing
Apache Storm
|
| 파일첨부 |
PDF 다운로드
|
